#Document Retrieval

4 篇

A Broader Look into MLLM's Retrieval Heads

多模态大模型检索头的拓展与优化

🧭 多模态检索头机制与注意力优化

Institute of Information Engineering, Chinese Academy of Sciences · School of Cyber Security, University of Chinese Academy of Sciences · Tencent

发现检索头在多模态模型中保持稀疏且跨模态共享，通过排序目标训练注意力可提升文档检索 Recall@1 6.03 点

📌 工作参考价值（4 点）

在电商多模态商品理解中，可先定位模型的 retrieval heads（稀疏注意力头），针对性地做剪枝或稀疏推理加速，同时保留跨模态共享的不足 2% 的关键头，避免文档理解、空间感知等能力下降。
借鉴 ranking objective 训练特定注意力头的方法：构造正负证据对，只对检索头的注意力分布施加排序损失，配合文档 / 商品召回任务做轻量微调，可提升 MMDocIR 等文档检索的 Recall@1。
多模态模型中音频和视觉证据共享检索头，说明跨模态对齐可在注意力头层面实现，电商短视频、直播等音视频带货场景可复用此机制设计统一的召回模型，减少模态间冗余。
消融实验显示跨模态共享的极少数头部影响多项能力，部署时可通过冻结这些头部或提高其权重稳定性，保障线上模型在多任务下的鲁棒性。

Multimodal | 2026-10-22 | HF Daily | score 6/10

生成式检索中范式、标识符与解码的解耦分析

🧭 生成式检索 · Semantic ID · 扩散解码 ★ 深度解读

Artefact Research Center

控制 AR/扩散、docid 与解码，证明解码可改变扩散 Hit@1 6.6-13.7 点，one-pass scoring 近似最优

📌 工作参考价值（4 点）

one-pass scoring：用全 mask docid 一次前向得到 L×K 概率表，按每个候选 docid 的 code 概率求和打分，免迭代去噪，可直接作为扩散生成式推荐/检索的 top-K 召回或粗排；在本文 11/12 设置中打平或超过 generate-and-match，工程上非常适合低延迟场景。
训练 recipe 必须按范式独立调：AR 的高 weight decay、线性衰减直接用于扩散会使模型输出常数；扩散需要更低 weight decay、常数学习率、warmup 等。落地时不要复用 AR 训练配置。
random ID 在训练查询覆盖充分时保留 RQ 的 83-90% Hit@1，说明语义层级结构并非核心收益来源；若业务训练曝光已足够，可先用简单 ID 或轻量语义 ID，把资源投入解码与训练稳定性。
PQ/独立 code 在生成 miss 后 gold 更容易留在候选里（恢复率约为 RQ 的 2.3 倍），且更适合并行解码；若采用 block diffusion 或 MDLM，可优先考虑 PQ-like 或维度独立的 semantic ID，并搭配 one-pass/chain-rule 解码。

GenRec | 2026-10-06 | cs.IR | score 10/10

REDSI：解决可微搜索索引文档检索的可复现性与评估一致性问题

🧭 生成式检索 · DSI 可复现性 ★ 深度解读

Artefact Research Center · INSA Rennes, IRISA, CNRS, Université de Rennes · MICS, CentraleSupélec, Université Paris-Saclay

首个支持 DSI 三种标识符的开源实现及参数化 NQ320K 构建管道，系统分析模型缩放

📌 工作参考价值（4 点）

商品/文档标识符设计：如果商品库规模在几十万以内，直接使用 atomic ID（每个商品一个输出 token）可能比 semantic ID 更好，训练快、推理只需一步解码，且对模型容量下降更鲁棒；注意大规模库的输出词表扩展性。
数据集构建：复用公开数据集或自建检索/推荐数据集时，明确去重键（稳定 ID 如 SKU/商品ID，而非 title 或 URL），清洗文本序列化（去除 infobox、导航、特殊字符）以减少 unk token，对固定输入长度前缀影响显著。
训练采样比例：不要盲从原论文的 indexing:retrieval ratio，应调参。本文发现自然比例（约 1:2.8）远好于 DSI 原文的 32:1，这个超参常被忽略但影响显著。
解码简化：生成式检索/推荐中，在 beam search 后接 valid ID 过滤即可，无需实现复杂的 trie 约束解码；模型缩小时同样有效，可降低工程复杂度。

GenRec | 2026-09-08 | cs.IR | score 8/10

面向长文档的高效列表式多模态重排序

🧭 Multimodal ★ 深度解读

Magellan Technology Research Institute (MTRI)

提出 ZipRerank，通过两阶段训练和查询感知视觉 token 剪枝与单步 logit 评分，将重排序延迟降低一个数量级

Multimodal | 2026-05-12 | cs.MM | score 8/10